Bernhard Karlgren sinh ngày 15 tháng 10 năm 1889 tại Jönköping, Thụy Điển. Thân phụ ông, Johannes Karlgren, dạy tiếng Latinh, tiếng Hy Lạp cổ đại, và tiếng Thụy Điển tại một trường trung học địa phương.[1] Karlgren thể hiện năng khiếu ngôn ngữ học từ lúc còn rất trẻ, lấy làm hứng thú việc nghiên cứu các phương ngữ Thụy Điển và các câu chuyện dân gian cổ truyền.[2] Ông làm chủ các ngôn ngữ cổ điển từ rất sớm và là một nhà biên dịch thơ Hy Lạp cổ chuyên nghiệp. Ông cũng có sở thích tìm hiểu về Trung Quốc, đã từng viết bài thơ, The White Hind, lấy bối cảnh ở đất nước này.[3] Năm 14 tuổi, Karlgren hoàn thành bài báo mô tả học thuật đầu tiên của mình về các câu chuyện dân gian truyền thống của tỉnh Småland dựa trên hệ thống ký hiệu ngữ âm do Johan August Lundell đề xướng,[4] rồi xuất bản bài báo đầu tiên vào năm 1908 khi mới 18 tuổi.[5] Ông học tiếng Nga tại Đại học Uppsala dưới sự chỉ giáo của Lundell, tốt nghiệp cử nhân chuyên ngành Bắc Âu, Hy Lạp, và Slav học vào năm 1909.[6] Tuy ban đầu có ý định theo đuổi ngành ngôn ngữ Scandinavia, ông đổi hướng sang ngành nghiên cứu Hán ngữ theo lời khuyên của người anh trai Anton Karlgren (1882–1973).[7] Sở dĩ vì ông nghĩ rằng, dựa theo lời khuyên của Lundell, tiếng Hán có nhiều phương ngữ hơn để đào sâu tìm tòi.[8] Sau đó, ông đặt chân tới St. Petersburg, một trong những trung tâm nghiên cứu tiếng Hán ở châu Âu nhờ công lao của nhà ngôn ngữ học tiên phong Vasily Vasilyev. Tại đây, Karlgren, dưới sự hướng dẫn tận tình của A. I. Ivanov, đã giành được một quỹ học bổng để tài trợ cho công cuộc nghiên cứu phương ngữ tiếng Hán mặc dù ông chưa có nhiều kinh nghiệm về lĩnh vực này.[2]

Karlgren sống ở Trung Quốc từ năm 1910 tới năm 1912. Ông biết nói và viết tiếng Trung ở mức độ cơ bản chỉ sau vài tháng tập tành, rồi ngay lập tức bắt tay vào việc lập danh sách câu hỏi gồm 3.100 Hán tự để thu thập dữ liệu phương ngữ.[2] Sau khi dùng hết quỹ học bổng, Karlgren tự xoay sở kiếm tiền bằng cách dạy tiếng Pháp và tiếng Anh.[9] Ông rốt cuộc thu về dữ liệu của tổng cộng 19 phương ngữ Quan thoại, cũng như tiếng Thượng Hải, phương ngữ Phúc Châu của Tiếng Mân Đông, tiếng Quảng Đông, cách đọc Hán-Việt và Hán-Nhật của các Hán tự trong bản câu hỏi.[9]